Năm 1924, Tưởng Giới Thạch chuẩn bị cho việc thành lập Học viện Quân sự Whampoa dưới sự cho phép của Tôn Dật Tiên. Chiang biết anh ta là tài năng và đề nghị Sun chỉ định anh ta làm người hướng dẫn chung của học viện. Sun đã gửi điện báo đến Quảng Châu yêu cầu cá nhân ông chấp nhận đề nghị.

Trong quá trình thành lập học viện, ông ủng hộ Tưởng và giành được sự đánh giá cao của Tưởng. Trong cuộc chiến chống lại quân phiệt địa phương Chen Jiongming, học sinh được đào tạo trong học viện được nhóm lại thành hai trung đoàn, với ông là đại tá của một trong những trung đoàn. Trong chiến tranh, ông đã chứng tỏ sự can đảm và tài năng quân sự của mình bằng cách chiến thắng nhiều trận đấu mặc dù ông vừa mới hồi phục sau một căn bệnh, và màn trình diễn của ông đã gây ấn tượng sâu sắc cho cả cố vấn quân sự của Liên Xô và Vasily Blyukher (Tướng Galen). Galen đã gửi thanh kiếm của mình cho Ngài như một món quà sau cuộc chiến này.